AI030
พื้นฐานปัญญาประดิษฐ์สร้างสรรค์ในภาษาไพธอน
การพัฒนาของภาษาธรรมชาติและสถาปัตยกรรมทรานส์ฟอร์เมอร์
เป้าหมายการเรียนรู้
- วิเคราะห์ข้อจำกัดของโมเดล RNN และ LSTM ในการจัดการความสัมพันธ์ระยะไกล
- กำหนดหลักการทางคณิตศาสตร์ของกลไกการดึงดูดตนเอง (Self-Attention)
- แยกวิเคราะห์สถาปัตยกรรมทรานส์ฟอร์เมอร์แบบเข้ารหัส-ถอดรหัสและองค์ประกอบต่าง ๆ ของมัน
- ประเมินบทบาทของการเข้ารหัสตำแหน่งและการดึงดูดหลายหัว (multi-head attention) ในการจำลองลำดับข้อมูล